Hạng Vũ người đất Hạ Tương,[1] là cháu nội đại tướng Hạng Yên nước Sở thời Chiến Quốc, người bị tướng nước Tần là Vương Tiễn giết. Theo Sử ký Tư Mã Thiên, họ Hạng đời đời làm tướng nước Sở, được phong đất ở Hạng cho nên lấy họ là họ Hạng. Có thuyết cho rằng tổ tiên Hạng Vũ vốn mang họ Mị, là hoàng tộc nước Sở. Sau này, khi Sở diệt Lỗ năm 256 TCN, gia đình Hạng Yên lúc này do lập được nhiều công trạng nên được phong đất Hạng- trước kia thuộc nước Lỗ. Gia tộc Hạng Yên theo đó mà lấy Hạng làm họ. Cha Hạng Vũ là Hạng Siêu (項超) (hay Hạng Vinh 項榮) mất sớm nên ông sống với chú là Hạng Lương - con thứ của Hạng Yên.

Lúc còn nhỏ, Hạng Vũ học chữ nhưng học không thành, nên bỏ đi học kiếm thuật, cũng không nên. Hạng Lương nổi giận mắng, Hạng Vũ nói:

Hạng Lương bèn dạy cháu binh pháp. Hạng Vũ rất mừng, nhưng ông cũng chỉ học để biết qua ý nghĩa, chứ không chịu học đến nơi đến chốn. Thuở trước, Hạng Lương phạm tội và bị bắt ở Lạc Dương, Lương bèn nhờ quan cai ngục ở đất Kỳ là Tào Cửu viết thư cho Tư Mã Hân làm quan cai ngục ở Lạc Dương, vì thế việc mới thu xếp xong.

Hạng Lương có lần giết người, để tránh báo thù, bèn cùng Hạng Vũ bỏ trốn đến đất Ngô Trung. Các hiền sĩ và đại phu ở đất Ngô Trung đều thua kém Hạng Lương. Những khi Ngô Trung có việc lao dịch hay tang lễ thì Hạng Lượng thường đứng ra lo liệu. Lén lút dùng binh pháp để tập hợp tân khách và trai tráng, vì thế biết được khả năng của họ. Còn Hạng Vũ khi lớn lên mình cao hơn tám thước,[2] có sức khỏe nâng được cả cái đỉnh nặng nghìn cân, tài năng, chí khí hơn người. Đời sau có câu "Bạt sơn cử đỉnh" để khen ông và cũng để chỉ những người có sức khỏe phi thường. Các con em ở đất Ngô Trung đều sợ ông.

Khi Tần Thủy Hoàng đi chơi đất Cối Kê, vượt qua Chiết Giang, chú cháu Hạng Lương và Hạng Vũ cùng đi xem. Hạng Vũ trông thấy vua Tần, rồi nói:

Hạng Lương nghe nói vội bịt miệng cháu:

Tuy mắng cháu nhưng nhân việc này, Hạng Lương coi cháu là kẻ khác thường.